Ceph Swift Api 配置与使用（三） |
您所在的位置：网站首页 › swiftapi TRACC反馈 › Ceph Swift Api 配置与使用（三） |
Ceph Swift Api 配置与使用（三）
| Ceph Swift Api 配置与使用一、Ceph Swift Api 说明 在 ceph 的使用上， 互联网大规模的文件场景下， fs 并不能满足生产的使用要求， rados 本地化操作也不便于服务的接入与使用, 这里我们就要采用 Ceph Swift Api 来实现文件的存储管理。 二、Ceph Swift Api 特点Swift 是由 Rackspace 开发，用来为云计算提供可扩展存储的项目。专注于对象存储， 并提供一套 REST风格的Api 来访问， 与 Ceph 强一致性不同， 它是最终一致性。两者都是优秀的开源项目， 并无明显优劣之分，在使用场景上有所不同， 如果是专注于对象存储， 那么可以选择swift 即可满足需要， 如果还有块存储要求， 那么选择Ceph 更为合适。这里选择 Ceph ， 因为通过网关可以适配兼容 swift api ， 同时在数据访问上具有较强的扩展性： Ceph可通过Rados网关用兼容S3的RESTful API访问，对AWS云环境下的其他内容也能很好的兼容， 比如OpenStack Swift的对象存储访问接口。CephFS：是一个POSIX兼容的文件系统，可以在任何Linux发行版上运行，操作系统可直接访问Ceph存储。RBD：RBD是一个Linux内核级的块设备，允许用户像任何其他Linux块设备一样访问Ceph。ISCSI 网关: 这一增加的功能是SUSE加上去的，它允许管理员在Ceph之上运行iSCSI（互联网小型计算机系统接口）网关，从而将其转变为任何操作系统都可以访问的SAN（Storage Area Network，存储区域网络）文件管理器。 三、Ceph RGW 介绍Ceph 可以提供块、文件和对象三种形态的存储。 RGW 就是提供对象存储的网关，也即对象存储网关。 所谓对象存储网关，也就是对象存储的入口，本质上是一个HTTP 服务器，与 Nginx 和 Apache 无特殊差别。通过这个网关入口，用户可以采用HTTP 协议，以 RESTful 的方式访问 Ceph 的对象存储。 四、Ceph 存储结构在使用对象存储之前， 先要了解桶（container容器）概念及其存储结构： Ceph Swift Api 的调用， 需要先创建相应用户进行认证才能操作， 每个用户下面可以创建多个桶， 桶里面可以存储对象，对象就是各种数据文件， 包括文档， 图片等。传统上传文件的使用， 我们往往会指 定路径信息， 在这里， 桶和对象的关系好比文件夹与文件的概念， 不同之处是桶不能再嵌套桶， 也就是没有层级路径的概念。 Ceph 存储结构 :  五、Ceph Swift Api 服务端的配置1、确保集群正常安装并启动：  如果rgw没有显示， 检查服务状态： 代码语言：javascript复制systemctl list-unit-files|grep enabled|grep ceph 重启RGW服务： 代码语言：javascript复制ceph-deploy --overwrite-conf --ceph-conf ceph.conf rgw create CENTOS7-1 systemctl restart ceph-radosgw@*.service 2、验证网关是否正常访问地址， http://192.168.88.161:7480 出现以下提示代表正常  3、创建Swift用户, 用于接口请求认证 代码语言：javascript复制sudo radosgw-admin user create --subuser="cephtester:subtester" --uid="cephtester" --display-name="cephtester" --key-type=swift --secret="654321" --access=fulluid 为主用户， subuser 为子用户信息， secret 指定密钥， 不指定则随机生成， access 拥有权限设定。 返回结果： 代码语言：javascript复制[root@CENTOS7-1 ceph-cluster]# sudo radosgw-admin user create --subuser="cephtester:subtester" --uid="cephtester" --display-name="cephtester" --key-type=swift --secret="654321" --access=full { "user_id": "cephtester", "display_name": "cephtester", "email": "", "suspended": 0, "max_buckets": 1000, "auid": 0, "subusers": [ { "id": "cephtester:subtester", "permissions": "full-control" } ], "keys": [], "swift_keys": [ { "user": "cephtester:subtester", "secret_key": "654321" } ], "caps": [], "op_mask": "read, write, delete", "default_placement": "", "placement_tags": [], "bucket_quota": { "enabled": false, "check_on_raw": false, "max_size": -1, "max_size_kb": 0, "max_objects": -1 }, "user_quota": { "enabled": false, "check_on_raw": false, "max_size": -1, "max_size_kb": 0, "max_objects": -1 }, "temp_url_keys": [], "type": "rgw", "mfa_ids": [] }记住swift_keys下面的user和secret_key信息， 代码中需使用。 4、激活管理后台的对象存储模块： 5、创建一个管理用户：代码语言：javascript复制radosgw-admin user create --uid=mgruser --display-name=mgruser --system返回结果： 代码语言：javascript复制[root@CENTOS7-1 ceph-cluster]# radosgw-admin user create --uid=mgruser --display-name=mgruser --system { "user_id": "mgruser", "display_name": "mgruser", "email": "", "suspended": 0, "max_buckets": 1000, "auid": 0, "subusers": [], "keys": [ { "user": "mgruser", "access_key": "W462B8SE31NDCOQR4E6I", "secret_key": "XPZcugMWRhYccFlEPIHKcyFVr73grVuiJgFD4rDR" } ], "swift_keys": [], "caps": [], "op_mask": "read, write, delete", "system": "true", "default_placement": "", "placement_tags": [], "bucket_quota": { "enabled": false, "check_on_raw": false, "max_size": -1, "max_size_kb": 0, "max_objects": -1 }, "user_quota": { "enabled": false, "check_on_raw": false, "max_size": -1, "max_size_kb": 0, "max_objects": -1 }, "temp_url_keys": [], "type": "rgw", "mfa_ids": [] }根据生成的access_key与secret_key， 执行： 代码语言：javascript复制ceph dashboard set-rgw-api-access-key W462B8SE31NDCOQR4E6I ceph dashboard set-rgw-api-secret-key XPZcugMWRhYccFlEPIHKcyFVr73grVuiJgFD4rDR 打开管理界面，https://192.168.88.161:18843 可以查看到我们刚才创建的两个用户：  六、Ceph Swift Api 调用验证1、创建ceph-demo工程：  增加SwiftOperator接口: 代码语言：javascript复制@Component public class SwiftOperator { /** * 用户名信息， 格式： 主用户名：子用户名 */ private String username ="cephtester:subtester"; /** * 用户密码 */ private String password = "654321"; /** * 接口访问地址 */ private String authUrl = "http://192.168.88.161:7480/auth/1.0"; /** * 默认存储的容器名称(bucket) */ private String defaultContainerName = "user_datainfo"; /** * Ceph的账户信息 */ private Account account = null; /** * Ceph的容器信息 */ private Container container; /** * 进行Ceph的初始化配置 */ public SwiftOperator() { // 1. Ceph的账户信息配置 AccountConfig config = new AccountConfig(); config.setUsername(username); config.setPassword(password); config.setAuthUrl(authUrl); config.setAuthenticationMethod(AuthenticationMethod.BASIC); account = new AccountFactory(config).createAccount(); // 2.获取容器信息 Container newContainer = account.getContainer(defaultContainerName); if(!newContainer.exists()) { container = newContainer.create(); System.out.println("container create ==> " + defaultContainerName); }else { container = newContainer; } } /** * 文件上传处理 * @param remoteName * @param filePath */ public void createObject(String remoteName, String filePath) { // 1. 从容器当中获取远程存储对象信息 StoredObject object = container.getObject(remoteName); // 2. 执行文件上传处理 object.uploadObject(new File(filePath)); } /** * 文件的下载处理 * @param objectName * @param outPath */ public void retrieveObject(String objectName, String outPath) { // 1. 从容器当中获取远程存储对象信息 StoredObject object = container.getObject(objectName); // 2. 执行文件的下载方法 object.downloadObject(new File(outPath)); } /** * 获取用户下面的所有容器信息 * @return */ public List listContainer() { List list = new ArrayList(); Collection containers = account.list(); for(Container container : containers) { list.add(container.getName()); System.out.println("current container name : " + container.getName()); } return list; } }这里的用户名和密码填写上面我们所生成的信息。注意路径地址后缀为： /auth/1.0 CephDemoApplication启动类，测试验证： 代码语言：javascript复制@SpringBootApplication @ComponentScan(basePackages = {"cn.it"}) public class CephDemoApplication { public static void main(String[] args) throws Exception { // Swift Api接口调用验证 swiftApi(); } /** * 通过Swift接口操作ceph集群 * @throws Exception */ public static void swiftApi() throws Exception { ConfigurableApplicationContext appContext = SpringApplication.run(CephDemoApplication.class); // 1. 先打印出用户的容器信息 SwiftOperator swiftOperator = appContext.getBean(SwiftOperator.class); swiftOperator.listContainer(); String objName = "test_ceph"; // 2. 上传指定的文件 swiftOperator.createObject(objName, "E:\\test\\upload\\test_swift_ceph.txt"); // 3. 从ceph下载文件到指定的路径下面 swiftOperator.retrieveObject(objName, "E:\\test\\download\\test_swift_ceph.txt"); System.out.println("complete"); } } |
【本文地址】
公司简介
联系我们
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |